Human modeling and relighting are two fundamental problems in computer vision and graphics, where high-quality datasets can largely facilitate related research. However, most existing human datasets only provide multi-view human images captured under the same illumination. Although valuable for modeling tasks, they are not readily used in relighting problems. To promote research in both fields, in this paper, we present UltraStage, a new 3D human dataset that contains more than 2K high-quality human assets captured under both multi-view and multi-illumination settings. Specifically, for each example, we provide 32 surrounding views illuminated with one white light and two gradient illuminations. In addition to regular multi-view images, gradient illuminations help recover detailed surface normal and spatially-varying material maps, enabling various relighting applications. Inspired by recent advances in neural representation, we further interpret each example into a neural human asset which allows novel view synthesis under arbitrary lighting conditions. We show our neural human assets can achieve extremely high capture performance and are capable of representing fine details such as facial wrinkles and cloth folds. We also validate UltraStage in single image relighting tasks, training neural networks with virtual relighted data from neural assets and demonstrating realistic rendering improvements over prior arts. UltraStage will be publicly available to the community to stimulate significant future developments in various human modeling and rendering tasks.
translated by 谷歌翻译
We study a challenging task, conditional human motion generation, which produces plausible human motion sequences according to various conditional inputs, such as action classes or textual descriptors. Since human motions are highly diverse and have a property of quite different distribution from conditional modalities, such as textual descriptors in natural languages, it is hard to learn a probabilistic mapping from the desired conditional modality to the human motion sequences. Besides, the raw motion data from the motion capture system might be redundant in sequences and contain noises; directly modeling the joint distribution over the raw motion sequences and conditional modalities would need a heavy computational overhead and might result in artifacts introduced by the captured noises. To learn a better representation of the various human motion sequences, we first design a powerful Variational AutoEncoder (VAE) and arrive at a representative and low-dimensional latent code for a human motion sequence. Then, instead of using a diffusion model to establish the connections between the raw motion sequences and the conditional inputs, we perform a diffusion process on the motion latent space. Our proposed Motion Latent-based Diffusion model (MLD) could produce vivid motion sequences conforming to the given conditional inputs and substantially reduce the computational overhead in both the training and inference stages. Extensive experiments on various human motion generation tasks demonstrate that our MLD achieves significant improvements over the state-of-the-art methods among extensive human motion generation tasks, with two orders of magnitude faster than previous diffusion models on raw motion sequences.
translated by 谷歌翻译
位置识别是自动驾驶汽车实现循环结束或全球本地化的重要组成部分。在本文中,我们根据机上激光雷达传感器获得的顺序3D激光扫描解决了位置识别问题。我们提出了一个名为SEQOT的基于变压器的网络,以利用由LIDAR数据生成的顺序范围图像提供的时间和空间信息。它使用多尺度变压器以端到端的方式为每一个LiDAR范围图像生成一个全局描述符。在线操作期间,我们的SEQOT通过在当前查询序列和地图中存储的描述符之间匹配此类描述符来找到相似的位置。我们在不同类型的不同环境中使用不同类型的LIDAR传感器收集的四个数据集评估了我们的方法。实验结果表明,我们的方法优于最新的基于激光痛的位置识别方法,并在不同环境中概括了。此外,我们的方法比传感器的帧速率更快地在线运行。我们的方法的实现以开放源形式发布,网址为:https://github.com/bit-mjy/seqot。
translated by 谷歌翻译
在许多情况下,例如全基因组关联研究,通常存在变量之间的依赖性,通常可以推断模型中的相互作用效应。但是,在复杂和高维数据中数百万变量之间的成对相互作用受到低统计功率和巨大的计算成本的影响。为了应对这些挑战,我们提出了一个具有错误发现率(FDR)控制的两阶段测试程序,该程序被称为不太保守的多次测试校正。从理论上讲,FDR控制会费在两个阶段的数据依赖性方面的难度以及第二阶段进行的假设检验的数量取决于第一阶段的筛选结果。通过使用CRAM \'ER类型中度偏差技术,我们表明我们的过程在普遍的线性模型(GLM)中渐近地控制FDR,其中允许模型被误认为。另外,严格确定了FDR控制程序的渐近力。我们通过全面的仿真研究证明,我们的两阶段程序在计算上比经典BH程序具有可比或改进的统计能力更有效。最后,我们将提出的方法应用于DBGAP的膀胱癌数据,科学目标是鉴定膀胱癌的遗传易感性基因座。
translated by 谷歌翻译
在这项工作中,我们提出了叙述,这是一种新颖的管道,可以以逼真的方式同时编辑肖像照明和观点。作为一种混合神经形态的面部模型,叙述了几何学感知生成方法和正常辅助物理面部模型的互补益处。简而言之,叙述首先将输入肖像转变为粗糙的几何形状,并采用神经渲染来产生类似于输入的图像,并产生令人信服的姿势变化。但是,反演步骤引入了不匹配,带来了较少面部细节的低质量图像。因此,我们进一步估计了师范的肖像,以增强粗糙的几何形状,从而创建高保真的物理面部模型。特别是,我们融合了神经和身体渲染,以补偿不完善的反转,从而产生了现实和视图一致的新颖透视图像。在重新阶段,以前的作品着重于单一视图肖像重新审议,但也忽略了不同观点之间的一致性,引导不稳定和不一致的照明效果以进行视图变化。我们通过将其多视图输入正常地图与物理面部模型统一,以解决此问题。叙事通过一致的正常地图进行重新进行重新,施加了跨视图的约束并表现出稳定且连贯的照明效果。我们在实验上证明,叙述在先前的工作中取得了更现实的,可靠的结果。我们进一步使用动画和样式转移工具进行介绍,从而分别或组合姿势变化,灯光变化,面部动画和样式转移,所有这些都以摄影质量为单位。我们展示了生动的自由视图面部动画以及3D感知可靠的风格化,可帮助促进各种AR/VR应用程序,例如虚拟摄影,3D视频会议和后期制作。
translated by 谷歌翻译
我们提出了一个小说嵌入字段\ emph {pref}作为促进神经信号建模和重建任务的紧凑表示。基于纯的多层感知器(MLP)神经技术偏向低频信号,并依赖于深层或傅立叶编码以避免丢失细节。取而代之的是,基于傅立叶嵌入空间的相拟合公式,PREF采用了紧凑且物理上解释的编码场。我们进行全面的实验,以证明PERF比最新的空间嵌入技术的优势。然后,我们使用近似的逆傅里叶变换方案以及新型的parseval正常器来开发高效的频率学习框架。广泛的实验表明,我们的高效和紧凑的基于频率的神经信号处理技术与2D图像完成,3D SDF表面回归和5D辐射场现场重建相同,甚至比最新的。
translated by 谷歌翻译
We present TensoRF, a novel approach to model and reconstruct radiance fields. Unlike NeRF that purely uses MLPs, we model the radiance field of a scene as a 4D tensor, which represents a 3D voxel grid with per-voxel multi-channel features. Our central idea is to factorize the 4D scene tensor into multiple compact low-rank tensor components. We demonstrate that applying traditional CP decomposition -- that factorizes tensors into rank-one components with compact vectors -- in our framework leads to improvements over vanilla NeRF. To further boost performance, we introduce a novel vector-matrix (VM) decomposition that relaxes the low-rank constraints for two modes of a tensor and factorizes tensors into compact vector and matrix factors. Beyond superior rendering quality, our models with CP and VM decompositions lead to a significantly lower memory footprint in comparison to previous and concurrent works that directly optimize per-voxel features. Experimentally, we demonstrate that TensoRF with CP decomposition achieves fast reconstruction (<30 min) with better rendering quality and even a smaller model size (<4 MB) compared to NeRF. Moreover, TensoRF with VM decomposition further boosts rendering quality and outperforms previous state-of-the-art methods, while reducing the reconstruction time (<10 min) and retaining a compact model size (<75 MB).
translated by 谷歌翻译
深度神经网络(DNN)已经证明了他们在各种域中的表现。但是,它提出了社会问题,如果他们适用于涉及有价值的资源分配的敏感域,如教育,贷款和就业,则会引发社会问题。在DNN可靠地部署到这样的敏感域之前,执行公平性测试至关重要,即,尽可能多地生成以发现公平违规的情况。然而,现有的测试方法仍然有限于三个方面:可解释性,性能和概括性。为了克服挑战,我们提出了一个新的DNN公平测试框架,与以前的工作不同于在几个关键方面的内容:(1)可解释 - 它定量解释DNNS的公平违反偏见决定的公平违规; (2)有效 - 它使用解释结果在更少的时间内引导更多样化的情况; (3)通用 - 它可以处理结构化和非结构化数据。在7个数据集中的广泛评估和相应的DNN展示了神经元的优越性。例如,在结构化数据集上,它会产生更多的实例(〜x5.84)并节省更多时间(平均加速度为534.56%),与最先进的方法相比。此外,还可以利用神经元的情况来改善偏置DNN的公平,这有助于构建更公平和值得信赖的深度学习系统。
translated by 谷歌翻译
在农业环境中的现代除草剂应用通常依赖于将除草剂分配给作物和杂草相似的或便携式喷雾器的大型喷雾器,这些喷雾器需要劳动密集型手动操作。前一种方法导致过度使用除草剂并减少作物产量,而后者在大规模操作中经常站立。本文介绍了能够基于计算机视觉的导航,杂草检测,完整的现场覆盖以及\ $ 400下的计算机视觉的行作物的杂草管理的第一个完全自主机器人。目标应用程序是在裁剪领域中的自主行行杂草控制,例如,亚麻和油菜,在农作物之间的间距像一只脚一样小。所提出的机器人足够小,可以在植物生长的所有阶段之间通过植物生长的阶段,同时检测杂草和喷洒除草剂。充电系统包括新设计的机器人硬件,斜坡,机器人充电臂和移动充电站。采用集成视觉算法,有效地帮助充电器对齐。结合,它们使机器人能够在现场中连续工作而不获得电力。此外,将与预处理技术相结合的基于颜色的轮廓算法用于依赖于从车载单手套摄像机的输入上的鲁棒导航。将这种紧凑的机器人纳入农场可以帮助自动化杂草控制,即使在增长的后期阶段,并通过精确定位杂草减少除草剂。机器人平台在北达科他州的亚麻籽领域进行了现场测试。
translated by 谷歌翻译
由于摄像机外壳引起的水 - 空气界面处的光线非线性折射,恢复水下场景的3D几何是具有挑战性的。我们提出了一种基于光场的方法,从单个观点来利用角度样本的性能进行高质量的水下3D重建。具体地,我们将光场图像重新采样到角贴片。由于水下场景表现出弱视图依赖性镜面,在正确的深度上采样时,角度贴片趋于具有均匀的强度。因此,我们将这种角度均匀施加为深度估计的约束。为了高效角度重采样,我们设计一种基于多变量多项式回归的快速近似算法,以实现近似非线性折射路径。我们进一步开发了一种轻场校准算法,估计水上空气接口几何形状以及相机参数。综合性和真实数据的综合实验表明我们的方法在静态和动态水下场景中产生了最先进的重建。
translated by 谷歌翻译